原始教程

Lecture 19: Making Progress and Impact in AI Research

讲师: Prof. Jia-Bin Huang (Guest Lecture) 课程: CS197n Harvard - AI Research Experiences 核心问题: 如何保持研究进度？如何创造研究影响力？

目录

• 一、与导师的协作关系
  • 1. 导师是输入-输出机器
  • 2. 展示你的工作
  • 3. 呈现失败
  • 4. 提供背景
  • 5. 设定期望
• 二、研究技能
  • 1. 想象成功 (Imagine Success)
  • 2. 逆向工作 (Work Backward)
  • 3. 玩具模型 (Toy Example)
  • 4. 从简单开始 (Simple Things First)
  • 5. 一次只改一件事
• 三、创造研究影响力
• 四、讨论问答
  • 如何接触教授或实验室？
• 核心记忆点

一、与导师的协作关系

1. 导师是输入-输出机器

错误模式：

• ❌ 输入-only：只报告最终结果，不展示过程 → 无法从反馈中学习
• ❌ 输出-only：只执行导师指令 → 缺乏自主探索

正确做法：

• ✅ 建立双向反馈循环：频繁更新进展 + 获取反馈

2. 展示你的工作

核心问题清单：

1. What did you do?
2. Why did you do it?
3. How did you do it?
4. What did you find?
5. Why does it make sense (or not)?

success_template failure_template

3. 呈现失败

错误做法："I tried this, and it doesn't work." ❌

正确做法：诊断式汇报

"I've narrowed down the problem to step B. Until step A, you can see that it works, because you put in X and you get Y out, as we expect. You can see how it fails here at B. I've ruled out W and Z as the cause."
— Prof. Bill Freeman, MIT

关键：缩小问题范围 + 排除已知原因

4. 提供背景

导师如金鱼：走出办公室就忘记你说过什么

策略：

• 保持详细会议记录
• 发邮件确认讨论内容
• 讨论时从 "Why" 开始

5. 设定期望

错误做法："I will finish this as soon as possible." ❌

正确做法：

• 设定具体日期和时间目标
• 明确忙碌时段（考试周等）
• 建立互信：双方都了解你的进度

二、研究技能

1. 想象成功 (Imagine Success)

Awesomeness Test：

• 忽略技术难度，想象一切顺利达成目标
• 问自己："这个结果令人兴奋吗？"
• ✅ Yes → 值得做
• ❌ No → 拒绝平庸项目

lec19_templates/image_success_template

Richard Hamming 的 Bell Labs 故事：

"If you do not work on an important problem, it's unlikely you'll do important work."

2. 逆向工作 (Work Backward)

Forward Model ❌： $A \rightarrow B \rightarrow C \rightarrow D \rightarrow E$

• 从起点一步步推进
• 问题：可能走 6 个月才发现目标不可行

Backward Model ✅： $E \leftarrow D \leftarrow C \leftarrow B \leftarrow A$

• 假设 A、B、C 已解决，先做 D → E
• 逐步反推如何获得完美输入

lec19_templates/work_backward_notes lec19_templates/work_backward_template

四大优势：

1. 尽早看到最终结果 → 保持动力
2. 快速验证上限 → 如果完美输入都不行，直接放弃
3. 专注单一任务 → 每次都用完美输入工作
4. 理解成功条件 → 明确每个阶段需要什么

3. 玩具模型 (Toy Example)

TSTMTCTMI：The Simplest Toy Model That Captures The Main Idea

案例：

价值：在简单模型建立直觉，复杂问题自然跟进

4. 从简单开始 (Simple Things First)

Sheep Counter 案例：

原则：让简单案例先工作

5. 一次只改一件事

错误做法 ❌：

Copybatch_size = 4 → 16
learning_rate = 1e-3 → 1e-5
use_abc_loss = False → True

结果变差 → 学到什么？Nothing.

正确做法 ✅：

• 一次只改一个 hyperparameter
• 观察因果关系：输入变化 → 输出变化

三、创造研究影响力

⚠️ 这部分内容暂时跳过，待后续补充

四、讨论问答

如何接触教授或实验室？

lec19_templates/application_template

教授视角：接收学生是一种投资，时间是他们最宝贵的资源

你需要展示：

教授最怕的场景：

• 投入大量时间 → 无成果产出
• 学生只承诺 1 学期 → 无法完成可发表工作

关键：从教授视角出发，证明你能提供价值

核心记忆点

导师关系：输入-输出 + 展示过程 + 诊断失败 + 提供背景 + 设定期望
研究技能：想象成功 + 逆向工作 + 玩具模型 + 简单开始 + 单变量实验